KeyRec：面向流式与长视频理解的有界视觉记忆框架
🧭 多模态长视频流式推理视觉记忆压缩
University of Virginia · Google
训练免费的视觉记忆框架，用事件银行与近期缓存分离存储，在固定预算下高效压缩长视频视觉 token
📌 工作参考价值（4 点）
- 借鉴“近期缓存 + 事件银行”的双层记忆结构：在电商用户行为序列或会话流建模中，可保留最近交互的细粒度 token（如点击、浏览），同时将较旧历史压缩为结构化事件表示（如会话摘要、关键行为节点），避免每次推理全量回放，降低长序列注意力成本。
- 采用 query-agnostic writing + query-dependent readout 的两阶段设计：离线阶段持续更新记忆，查询到来时用轻量 text-only router 自适应分配固定 readout 预算到近期与事件记忆，无需重处理历史帧。可在 Agent 记忆系统中应用，控制上下文窗口，降低 LLM API 费用。
- 事件合并与逐出策略（add-merge-evict）可用于用户兴趣画像维护：根据 novelty 决定是否新增事件，合并相似兴趣，淘汰过时兴趣，保持画像有界且信息密度高。
- 对于直播电商、商品视频理解等场景，可复用 KeyRec 的视觉 token 压缩思路，仅保留 10% 的 visual token 预算即可保持接近密集处理的性能，显著降低推理成本。
选择、压缩、再投资：长视频多模态大模型视觉Token分配的控制研究
🧭 长视频MLLM视觉Token分配优化
Independent Researcher
控制变量实验表明帧选择是长视频理解最大杠杆，经典OMP算法与专用选择器性能相当
📌 工作参考价值（4 点）
- 预算固定的优化思路可直接迁移到多模态推荐/广告素材理解：若系统只能用固定数量的视频帧或图像Token表示商品视频/广告创意，优先投资帧选择（比均匀采样提升显著），再考虑空间压缩，并把压缩节省的Token用于增加采样帧数，两步结合可带来2-3个点准确率提升。
- OMP等经典稀疏近似算法可作为轻量、无训练的特征/帧选择器：在视频理解、商品短视频标签抽取、直播切片推荐等场景，无需训练专用选择器，直接用OMP挑选最具信息量的帧或片段，能匹配甚至超过专用模型，工程实现成本极低。
- 对多模态模型评测/迭代：务必在同一统一框架内做控制变量。论文发现相同规则在不同harness间有0.07-3.74点差距，自己的AKS基线也有实现bug，说明跨论文比较或直接套用他人结果风险高；业务中应构建内部统一的视觉Token分配评测管道，逐步替换单个变量（选择、压缩、分辨率）以定位真实收益。
- 压缩必须配合再投资才有效：单独压缩帧分辨率几乎是免费的（损失≤0.44点），但如果不把节省的Token花到更多帧上，就没有精度收益；该结论可指导资源受限场景下的多模态特征预算分配策略。
OmniScope：面向全模态大语言模型的模态解耦Token压缩
🧭 全模态LLM推理加速 · 模态解耦压缩
Xiamen University · Alibaba Group
训练无关的模态解耦压缩框架，解决音视频跨模态显著度错配，实现高效全模态推理
📌 工作参考价值（4 点）
- 模态解耦思想可迁移到多模态推荐：在视频+音频+文本场景下，不同模态对点击/转化的贡献峰值可能不同时，应独立计算各模态token显著性再融合，避免跨模态指导遗漏关键信息。
- 训练无关压缩框架可直接嵌入已部署的多模态大模型，不增加微调成本；根据内容复杂度动态分配各模态token预算，适合工程化轻量实现。
- anchor-delta视觉剪枝策略保留全局上下文与时序变化，可用于商品展示视频或直播帧采样，保留关键变化帧的同时降低token数。
- 音频按秒合并的冗余去除方法可应用于直播语音或客服会话的压缩，减少后续模型输入长度，提升吞吐。
DeltaV：统一多模态大模型中的视觉状态更新推理
🧭 视觉更新驱动高效多模态推理
Huazhong University of Science and Technology · MiLM Plus, Xiaomi Inc.
提出视觉更新范式，增量预测变化令牌替代全图生成，减少55.6%视觉令牌并提升多模态推理3.3%
📌 工作参考价值（4 点）
- 当推荐/Agent系统需序列输出视觉状态（如商品搭配演化、试穿效果步骤），采用增量更新可大幅减少生成token的冗余，直接降低推理延迟与成本。
- 借鉴TSIM Router思想，在推荐场景的自适应计算中，根据边际增益动态分配视觉生成token预算：复杂变化场景多分配，简单场景早停，提升整体效率。
- StructCoT数据集构建思路可迁移至电商多模态推理数据准备，通过链式思维引导模型进行多步视觉决策（如商品对比、需求分析），增强推荐可解释性。
- 55.6%的token减少且性能不降，表明视觉差分编码是移动端或资源受限场景下一种高性价比压缩方案，适合部署轻量级多模态推荐助手。
CompRank：通过Token级压缩与免解码评分的LLM高效重排序
🧭 LLM高效重排序 ★ 深度解读
Shanghai Jiao Tong University · Eastern Institute of Technology (Ningbo) · University of British Columbia · University of Waterloo
提出CompRank，通过文档表示解耦、分段式token压缩和CopyNet式监督，仅保留10.2%文档token即接近全量重排序性能，并实现显著加速。
📌 工作参考价值（4 点）
- 用稀疏注意力代替全量文档token：在重排序时，仅保留文档中10%的token（如每10个取1个）即可保持性能，大幅降低交互成本。电商搜索/推荐中候选列表长，可直接应用此分段式压缩策略减少LLM重排序延迟。
- 免解码式评分避免生成错误：训练时用CopyNet直接优化注意力得分，推理时无需自回归生成ID，消除生成重复或超范围ID的问题。在推荐系统中，当候选集大小变化时，该方法比生成ID法更稳健，避免了分布偏移带来的解码失败。
- 文档表示解耦实现可复用KV缓存：将文档块与查询解耦，文档侧KV状态可预先计算并缓存，特别适合反复检索相同文档的Agent或RAG场景。在电商多轮对话或商品复筛流程中，可离线预计算商品表示，在线仅需处理查询侧计算，大幅降低在线延迟。
- 训练与推理一致的注意力对齐目标：使用CopyNet指针分布监督文档级得分，使训练直接服务于排序目标，优于SFT式的逐token生成。在建模用户与物品的相关性分数时，可直接采用类似pointer机制，让模型聚焦于候选集分布而非整个词表。
早期Token压缩完成快速视频理解
🧭 多模态视频理解效率优化 · Token压缩
Zhejiang University · Westlake University · Alibaba Cloud Computing
提出训练无关的视觉编码器内部早期token压缩框架EarlyTom，显著降低TTFT和计算量
📌 工作参考价值（4 点）
- 视觉编码器内压缩可大幅降低首Token延迟：在实时视频理解或推荐场景（如短视频内容分析、直播审核），可以直接借鉴EarlyTom的帧合并策略，在编码器中间层提前丢弃冗余帧，无需重新训练模型，即刻提升推理速度。
- 解耦空间Token选择减少压缩偏差：在生成式推荐（如基于视觉的个性化feed）中，对图像/视频帧的空间信息进行压缩时，采用独立于通道的选择方式（如空间注意力引导的token保留）可以避免重要细节丢失，保持推荐准确性。
- 训练无关方法易于集成：该方案不依赖额外训练，可直接插入现有Vision-LLM流水线，适合快速迭代的工业级系统，尤其在对延迟敏感的Agent或多智体交互中，能快速实现多模态模块的加速。
- 对视频多模态系统的工程启示：揭示了视觉编码器在端到端推理中的时间占比过高问题，从业者应优先优化编码器而非仅关注LLM部分，类似思路可用于电商场景中的商品视频理解、虚拟主播驱动等任务。
逐层令牌压缩以提升文档重排效率
🧭 文档重排序效率优化 · Token 压缩 ★ 深度解读
Amazon AGI · Amazon AWS
在中层Transformer层进行自适应令牌池化，保留早期交互并加速计算，吞吐量最高提升116%
📌 工作参考价值（4 点）
- 电商搜索/推荐的重排序阶段常使用 cross-encoder，文档/商品描述较长导致推理延迟高；可借鉴 LTC 在中间层做 token 池化，根据吞吐需求调节压缩率与层位置，平衡效果与速度。
- 训练时必须加入压缩，让模型学习鲁棒的压缩表示；推理时直接对未压缩模型应用压缩会导致效果崩塌（尤其低层高压缩率）。微调成本低，but 效益显著。
- 在 listwise LLM 重排（如商品列表排序）中，通过文档掩码仅压缩物品 token 而保留 query/instruction，可大幅提升吞吐（+73%），同时效果不降甚至提升，可复用到多物品评分场景。
- 轻量压缩（如保留 80% tokens）可能产生正则化作用，使得模型在未见过的长文本上泛化更好，可用来处理商品描述长度差异大的情况，无需额外训练。